FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems
FORTE：工业推荐系统中特征评估与废弃的生产框架
🧭 推荐系统特征生命周期管理与模型降本 ★ 深度解读
模型无关的特征废弃框架，用高效扰动、分组验证、在线A/B和血缘追踪实现安全删除特征
📌 工作参考价值（5 点）
- 用 pooled perturbation 替代逐特征推理：把原始 batch 和扰动 batch 一次加载进内存，每个实验只做一次字典选择，边际成本极低；在 3M 行数据上 300 个实验耗时从线性降低 54 倍，可以支撑每日全模型特征重要性扫描。
- 候选特征集必须做 grouped perturbation：单特征 permutation 会高估可加价值，且特征交互导致固定顺序边际中有相当比例（38.6%）为负；只筛选单特征重要性会漏掉交互依赖，上线前必须对嵌套候选集做联合扰动验证。
- 单 permutation 在 150k 样本规模下已足够稳定：重复 permutation 只带来方差线性下降，而扩大样本量直接缩小 σ²；若目标是特征排序而非精确重要性值，把算力投向更有代表性的样本比重复 permutation 更划算。
- 完整特征废弃依赖 lineage 追踪：只从模型删除特征收益有限，必须通过 registry 找到所有下游消费者，逐级 block dataloader、dataset、ingestion、logging，才能实现存储、训练、服务端到端节省。
- 在线 guardrail 是最终裁决：离线 neutral 的多个候选集，最激进的组合可能触发次要指标回归；应让多个 nested 候选集同时进入 A/B，由在线护栏筛选安全操作点，而不是依赖离线指标定最终规模。